在Python中使用NLTK库实现对词干的提取的教程 |
您所在的位置：网站首页 › python nltk分词 › 在Python中使用NLTK库实现对词干的提取的教程 |
在Python中使用NLTK库实现对词干的提取的教程
|
什么是词干提取？ 在语言形态学和信息检索里，词干提取是去除词缀得到词根的过程─—得到单词最一般的写法。对于一个词的形态词根，词干并不需要完全相同；相关的词映射到同一个词干一般能得到满意的结果，即使该词干不是词的有效根。从1968年开始在计算机科学领域出现了词干提取的相应算法。很多搜索引擎在处理词汇时，对同义词采用相同的词干作为查询拓展，该过程叫做归并。 一个面向英语的词干提取器，例如，要识别字符串“cats”、“catlike”和“catty”是基于词根“cat”；“stemmer”、“stemming”和“stemmed”是基于词根“stem”。一根词干提取算法可以简化词 “fishing”、“fished”、“fish”和“fisher” 为同一个词根“fish”。 技术方案的选择 Python和R是数据分析的两种主要语言；相对于R，Python更适合有大量编程背景的数据分析初学者，尤其是已经掌握Python语言的程序员。所以我们选择了Python和NLTK库（Natual Language Tookit）作为文本处理的基础框架。此外，我们还需要一个数据展示工具；对于一个数据分析师来说，数据库的冗繁安装、连接、建表等操作实在是不适合进行快速的数据分析，所以我们使用Pandas作为结构化数据和分析工具。 环境搭建 我们使用的是Mac OS X，已预装Python 2.7. 安装NLTK sudo pip install nltk安装Pandas sudo pip install pandas对于数据分析来说，最重要的是分析结果，iPython notebook是必备的一款利器，它的作用在于可以保存代码的执行结果，例如数据表格，下一次打开时无需重新运行即可查看。 安装iPython notebook sudo pip install ipython创建一个工作目录，在工作目录下启动iPython notebook，服务器会开启http://127.0.0.1:8080页面，并将创建的代码文档保存在工作目录之下。 mkdir Codes cd Codes ipython notebook文本处理 数据表创建 使用Pandas创建数据表 我们使用得到的样本数据，建立DataFrame——Pandas中一个支持行、列的2D数据结构。 from pandas import DataFrame import pandas as pd d = ['pets insurance','pets insure','pet insurance','pet insur','pet insurance"','pet insu'] df = DataFrame(d) df.columns = ['Words'] df显示结果
NLTK分词器介绍 RegexpTokenizer：正则表达式分词器，使用正则表达式对文本进行处理，就不多作介绍。 PorterStemmer：波特词干算法分词器，原理可看这里：http://snowball.tartarus.org/algorithms/english/stemmer.html 第一步，我们创建一个去除标点符号等特殊字符的正则表达式分词器： import nltk tokenizer = nltk.RegexpTokenizer(r'w+')接下来，对准备好的数据表进行处理，添加词干将要写入的列，以及统计列，预设默认值为1： df["Stemming Words"] = "" df["Count"] = 1读取数据表中的Words列，使用波特词干提取器取得词干： j = 0 while (j |
【本文地址】
今日新闻 |
推荐新闻 |